Aprendizaje autosupervisado

El aprendizaje autosupervisado (en inglés: self-supervised learning, SSL) es un paradigma del aprendizaje automático y sus métodos correspondientes para procesar datos no etiquetados con el fin de obtener representaciones útiles que puedan ayudar en tareas de aprendizaje posteriores. Lo más destacado de los métodos SSL es que no necesitan etiquetas anotadas por humanos, lo que significa que están diseñados para aceptar conjuntos de datos compuestos en su totalidad por muestras de datos sin etiquetar. Entonces, el proceso típico de SSL consiste en aprender señales de supervisión (etiquetas generadas automáticamente) en una primera etapa, que luego se utilizan para alguna tarea de aprendizaje supervisado en la segunda y posteriores etapas. Por esta razón, el SSL puede describirse como una forma intermedia de aprendizaje no supervisado y supervisado.

El método de SSL típico se basa en una red neuronal artificial u otro modelo, como una lista de decisión.^[1]​ El modelo aprende en dos etapas. En primer lugar, la tarea se resuelve basándose en una tarea de clasificación auxiliar o de pretexto utilizando pseudoetiquetas que ayudan a iniciar los parámetros del modelo.^[2]​^[3]​ En segundo lugar, la tarea real se realiza con aprendizaje supervisado o no supervisado.^[4]​^[5]​^[6]​ Otras tareas auxiliares consisten en completar patrones a partir de patrones de entrada enmascarados (pausas silenciosas en el habla o partes de imágenes enmascaradas en negro).

El aprendizaje autosupervisado se denominó "autoetiquetado" en 2013. El autoetiquetado genera etiquetas basadas en los valores de las variables de entrada, como por ejemplo, para permitir la aplicación de métodos de aprendizaje supervisado en series temporales sin etiquetar.

El aprendizaje autosupervisado ha producido resultados prometedores en los últimos años y ha encontrado aplicación práctica en el procesamiento de audio y está siendo utilizado por Facebook y otros para el reconocimiento de voz.^[7]​ El principal atractivo del SSL es que el entrenamiento puede producirse con datos de menor calidad, en lugar de mejorar los resultados finales. El aprendizaje autosupervisado imita más de cerca el modo en que los humanos aprenden a clasificar objetos.^[8]​

1. ↑ Yarowsky, David (1995). «Unsupervised Word Sense Disambiguation Rivaling Supervised Methods». Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics (Cambridge, MA: Association for Computational Linguistics): 189-196. doi:10.3115/981658.981684. Consultado el 1 de noviembre de 2022. 
2. ↑ Doersch, Carl; Zisserman, Andrew (2017). «Multi-task Self-Supervised Visual Learning». 2017 IEEE International Conference on Computer Vision (ICCV) (IEEE). ISBN 978-1-5386-1032-9. doi:10.1109/iccv.2017.226. Consultado el 2070–2079. 
3. ↑ Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander (2019). «S4L: Self-Supervised Semi-Supervised Learning». 2019 IEEE/CVF International Conference on Computer Vision (ICCV) (IEEE): 1476-1485. ISBN 978-1-7281-4803-8. doi:10.1109/iccv.2019.00156. 
4. ↑ Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (2015). «Unsupervised Visual Representation Learning by Context Prediction». 2015 IEEE International Conference on Computer Vision (ICCV) (IEEE): 1422-1430. ISBN 978-1-4673-8391-2. doi:10.1109/iccv.2015.167. 
5. ↑ Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo. «Fast and robust segmentation of white blood cell images by self-supervised learning». Micron 107: 55-71. ISSN 0968-4328. doi:10.1016/j.micron.2018.01.010. 
6. ↑ Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick; Cord, Matthieu (2019). «Boosting Few-Shot Visual Learning With Self-Supervision». 2019 IEEE/CVF International Conference on Computer Vision (ICCV) (IEEE): 8058-8067. ISBN 978-1-7281-4803-8. doi:10.1109/iccv.2019.00815. 
7. ↑ «Wav2vec: State-of-the-art speech recognition through self-supervision». Ai.facebook.com (en inglés). Consultado el 9 de junio de 2021. 
8. ↑ Bouchard, Louis (25 de noviembre de 2020). «What is Self-Supervised Learning? | Will machines ever be able to learn like humans?». Medium (en inglés). Consultado el 9 de junio de 2021.